Cha của Prudhomme mất khi Prudhomme lên hai tuổi, hoàn cảnh gia đình khó khăn, ông cùng mẹ và chị gái chuyển đến sống với một người chú. Năm lên 8 tuổi Prudhomme vào học trường Lycée Bonapart. Cậu bé học giỏi toán, say mê ngôn ngữ và thơ Pháp, tuy nhiên bệnh về mắt đã làm gián đoạn việc học của cậu. Ban đầu ông học để trở thành kĩ sự. Từ năm 1860, Prudhomme đã phải tự đi làm nhiều nghề kiếm sống, buổi tối về nghiên cứu triết học và làm thơ. Có một thời gian ông làm việc tại xưởng thép của công ty Schneider, rồi bắt đầu học luật tại một văn phòng công chứng.

Năm 1865 ông in tập thơ đầu tay ký bút danh Sully Prudhomme, được đánh giá cao. Năm sau, một nhà xuất bản in thơ của ông vào tập Le Parnasse contemporain - một thứ tuyên ngôn của các nhà thơ nhóm Parnasse phản đối lại trường phái lãng mạn. Sự đón nhận tốt từ Conférence La Bruyère (một tổ chức của sinh viên) đã động viên ông theo con đường văn chương. Năm 1870, chiến tranh Pháp - Phổ nổ ra, ông tự nguyện gia nhập dân quân. Những túng thiếu, vất vả trong thời kỳ quân Phổ phong tỏa Paris khiến sức khỏe đã yếu của ông càng thêm trầm trọng, ông bị liệt và phải cắt hai chân sau khi cuộc phong tỏa chấm dứt. Trong thời kỳ chữa bệnh, ông vẫn viết thơ ái quốc (Ấn tượng chiến tranh, 1872), cổ vũ thơ truyền thống, phản đối thơ tự do, chủ nghĩa tượng trưng, suy đồi: Testament poétique (Di chúc thơ, 1901). Ông được bầu vào viện Hàn lâm Pháp năm 1881. Năm 1888 ông xuất bản trường ca Le bonheur (Hạnh phúc), gồm 4000 câu thơ, khẳng định hạnh phúc có thể đạt được nhờ sự ham học hỏi, nhờ khoa học, nhờ lòng thiện và sự hy sinh. Ông được trao Bắc đẩu bội tinh hạng hiệp sĩ vào năm 1895.

Năm 1901, Prudhomme trở thành người đầu tiên được trao Giải Nobel Văn học "vì những giá trị văn chương xuất sắc, chủ nghĩa lý tưởng cao cả, nghệ thuật hoàn thiện và sự kết hợp tuyệt vời giữa tình cảm và tài năng." Ông sử dụng số tiền này để lập nên một giải thưởng cho các nhà thơ trẻ, được trao bởi Société des gens de lettres. Năm 1902, ông cùng Jose-Maria de Heredia và Leon Dierx thành lập nên Société des poètes français (Hiệp hội các nhà thơ Pháp).

Trong những năm cuối đời, sức khỏe ốm yếu vốn có của Sully Prudhomme đã buộc ông gần như ở ẩn tại Châtenay-Malabry, ngoại ô Paris, chịu đựng chứng tê liệt trong khi vẫn miệt mài viết các tiểu luận. Ông mất đột ngột tại nhà riêng vào ngày 6 tháng 9 năm 1907 ở tuổi 68 và được an táng tại Père-Lachaise, Paris. Prudhomme không có vợ con và người cháu Henry Gerbault là người thừa kế của ông.